Năm 195, Lã Bố thất bại trong cuộc giao tranh với Tào Tháo ở Duyện châu, đến nương nhờ Lưu Bị. Quân phiệt Viên Thuật ở Thọ Xuân (Dương châu) tấn công Lưu Bị để tranh đoạt Từ châu. Lưu Bị mang quân đi Vu Thai kháng cự Viên Thuật, sai Trương Phi giữ thành Hạ Bì (thủ phủ Từ châu). Trương Phi bất hòa với viên tướng cũ của Đào Khiêm là Tào Báo, bèn giết chết Tào Báo.

Viên Thuật viết thư cho Lã Bố đề nghị đánh úp Từ châu, đổi lại Thuật sẽ giúp lương. Lã Bố nhận lời, nhân lúc Hạ Bì hỗn loạn do cái chết của Tào Báo, bèn mang quân đến đánh úp Hạ Bì. Viên Trung lang tướng Hứa Đam trong thành Hạ Bì phản lại Trương Phi, mở cửa đón Lã Bố. Trương Phi không chống nổi quân Lã Bố, mang thủ hạ bỏ chạy, không kịp mang theo gia quyến Lưu Bị[7].

Trương Phi chạy đến chỗ Lưu Bị ở Hoài Âm. Do tình thế bức bách, lực lượng yếu không kháng cự được Viên Thuật và Lã Bố, ba anh em Lưu Bị phải quay về Từ châu hàng Lã Bố. Lã Bố tiến cử Lưu Bị làm Dự châu mục, sang đóng ở thành Tiểu Bái gần đó.